From RLVR to RLSVR: Task Transformation Induces Self-Verifiable Rewards for Open-Ended LLM Self-Improvement
从 RLVR 到 RLSVR：通过任务变换为开放领域 LLM 引入自验证奖励
🧭 LLM 自我改进 · 自验证奖励 · 多智体博弈 ★ 深度解读
Duke University · Adobe Inc. · Oregon State University · Pennsylvania State University · Amazon
借用自监督学习的任务变换思想，将开放任务重构为基于信息不对称的自我博弈游戏，自动产生可验证训练奖励
📌 工作参考价值（4 点）
- 对缺少可靠奖励的生成式任务（如文案生成、对话推荐、创意内容），可通过设计信息不对称的多智能体游戏来生成监督信号，避免依赖外部奖励模型或人工评判。
- 交替优化策略：轮流更新“表演者”与“检测者”，防止策略停滞与奖励崩溃，可在自对弈场景中保持持续改进压力。
- 角色优势估计（RAE）：当不同角色面临不对称难度时，通过减去角色专项基线来校准优势，避免因角色固有偏差损伤策略，可迁移到有角色差异的合作/博弈训练中。
- 分组投票机制：多玩家集体决策比单一评判更鲁棒，可以借鉴到多模型投票评估或集成式的自监督反馈系统中。